  |
はてなキーワード: SQLとは
クリックデータの集計において、毎回全データに対して集計SQLを実行すると時間がかかりすぎ、一方でバッチ処理で集計結果を保存すると、その後に発生したクリックをリアルタイムで反映できないという問題があります。この課題を解決するためには、以下の方法を検討すると効果的です。
---
---
---
### **3. データウェアハウスとマテリアライズドビューの利用**
---
---
### **5. キャッシュとインメモリデータグリッドの使用**
---
---
---
---
### **まとめと提案**
---
1. **要件の明確化**: リアルタイム性の程度、データ量、システムリソースなどを考慮して要件を定めます。
2. **プロトタイプの構築**: 小規模なデータでインクリメンタル集計やストリーミング処理のプロトタイプを作成し、性能を評価します。
3. **システムの実装**: 選定した方法とツールを用いて、実際のシステムを構築します。
4. **モニタリングと最適化**: システムのパフォーマンスをモニタリングし、必要に応じて最適化やスケールアップを行います。
---
---
ご質問の課題に対して、リアルタイム性とパフォーマンスを両立する方法として、インクリメンタル集計やストリーミング処理の導入を強くお勧めします。これにより、新しいクリックデータを即座に集計結果に反映しつつ、全データに対する集計処理の負荷を大幅に削減できます。
IT土方です。ゲーム開発を仕事としたことはないけど、だいたい同世代っぽいので反応します。
ゲームエンジンに相当する根っこの部分を実装するチャンスがなくなっちゃったって話、似た話題はITだと大体どの分野でもあるとは思いますね。
たとえば昔はCOBOLで自前でデータ操作してたけど今はデータベース（RDBMS）使うよね、とか。
携帯の新端末が出るたび何百万行っていうコード量のOS開発してたけど今はAndroidになっちゃったね、とか。
それを寂しいとか退屈とか感じる理屈はわかるけど、でも自分はそこにあまりネガティブな感情は無いんですよね。
こっちはこっちでプライド持ってやってるけど、とはいえ究極的には自分の作ってるソフトなんて全然つまんねえからね（ゲームと比べると）。
「生産性向上」って言葉にしたらみなさん鼻で笑いますけども、でもOracleやMySQLがやってることを自前で実装しろっていわれたら冗談じゃないわけですよ。
まあ実装はなんとかできるかもしれないけれども、その自前のトランザクション管理がバグって客先環境のデータ壊れちゃってみたいな運用まで考えるとね。。。
そのあたりの根っこの部分をまだ「買って終わり」になってないのは組み込み屋さんだと思う。車載OSとか。
理論上めちゃくちゃブラックなはずなんだけど、あまり話が聞こえてこないんだよね。どこも内製してて転職市場に流れないからなのかな？
自分が子供のころはPCとかマイコンって「ゲームを作ろう」から始まったけど（ベーマガ的な）、
今の子ってMincraftみたいなブロック組み合わせてLegoマインドストームみたいなロボット制御するのが初手だったりするから、生産性向上ヤバイ
うまくまとまらんけど、
ユーザー企業と言っても、総合商社とか、自動車系とか有名すぎるところはダメ。
不動産、サービス、メーカー。エンジニアを持たずにITの仕事の大半をコントラクターにやらせてるところがいい。
こういうところはたくさんある。当たれば上場企業にも入れる。
だいたい社内のIT部門がコントラクターの管理をしていて、IT部門の人ができるのはSQLぐらい。
コントラクターより社員エンジニアがやってくれたほうが安いし、信頼できる。
ということで、
「AWSみて。は?クラウド初めてなの?まあいいや。とりあえずググってやって」
「Pytyonできる?ちょっとできるんだね。クラスってなんだかわかるかい?よし、じゃあこのバッチ作って。」
「SQLかけるね?じゃあデータベース見てよ、最近なんか知らんけど止まるんだよ。え?どうやって見たらいいかって?
こんな感じでボンボン仕事くれる。上場企業に入れればホワイト確定。
採用されるわけねーだろって?
自分で学習してエンジニアになろうとしています。学習は完了しました。雇ってください」
と。
まあやる気ありそうだったし、希望給与も大したことなかった。上司と一緒にそいつを面接してこう言った。
「勉強するチャンスはあげます。こちらも教えます。でも仕事ができるようになるかどうかはあなた次第です。
仕事ができるようにならなかったら、あなたのやりたい仕事は回しませんよ?」
と言ったら。
で、面接通した。
(でも「バックグラウンドチェックだしたくない」と本人が行ったので辞退された。
うーん、前職で犯罪を犯した、とかでなければ雇いたかったが・・・
チェックで営業としての適性なんぞ見てもしょうがないし・・・)
ということで「フリーでやってますが限界なので正社員になりたいです」と受けまくればいいと思う。
ウエブディレクター、社内SE、何でもいい。ITに関われそうなら。
面接で「え、マジ?コード書けるの?じゃあこのポジションでもいいかな?」とかなるはず
言語とは、特定のルールに従って情報を伝えるためのシステムです。
CSSは、ウェブページのスタイルを定義するための特定のルールセットを持ち、それに従って情報を伝えます。したがって、CSSも言語の一種です。
CSSは汎用プログラミング言語（例：JavaScriptやPython）とは異なり、特定の目的（スタイルの定義）のために設計されています。
Turing Completeでない言語も言語として認識される例として、HTMLやSQLも挙げられます。
CSSも同様に、特定の目的を果たすためのスタイルシート言語です。
世界中のウェブ標準を推進するW3C（World Wide Web Consortium）は、CSSを正式な言語として認識し、仕様を策定しています。
たとえば ↓
https://www.launchexcel.com/what-jobs-use-excel/
https://www.fdmgroup.com/news-insights/advanced-excel-skills
ジャップランドで起こりがちなことはアメリカでは無いのかAIちゃんに尋ねてみたらこう言ってたよ
ワイ： 質問: 2024年において、アメリカの大企業および中小企業の間で、より一般的なデータ管理の方法はなんですか？ 検索して最新のトレンドを教えてください。 - 方法A:内部データベースからCSVファイルとしてデータをダウンロードし、Excelで修正してから、
ETLツール（例：Informatica PowerCenter、Talend Open Studio）、BIツール（例：Tableau Prep、Microsoft Power Query）、
または他のデータベース（例：OracleDB）などの他のシステムにインポートする。 - 方法B:Excelのステップをスキップし、内部データベースを他のシステムに直接接続する。 - 方法C:レガシーシステムや複雑なシステムには方法Aを使用し、その他のシステムには方法Bを使用する。状況やシステム要件に応じて使い分ける。 質問のポイント: - 大企業におけるExcelの使用:大企業はデータクリーニングのためにExcelを使用するのを完全にやめましたか？それとも、古いメインフレームシステム、ERPシステム、または特定の業務プロセスの問題のためにまだ使用されていますか？ - 方法A、B、Cのシナリオ:各方法の具体的なシナリオと製品名を教えてください。 - 2024年におけるCSVファイルのダウンロード:2024年現在、ETL/BIツールやクラウドベースのDWHを利用できないどころか、Oracle Gatewayなどの接続手段も利用できないデータベースの使用は完全になくなりましたか？
もしそのようなデータベースが2024年にもまだ存在する場合、直接的なデータ連携が困難なため、CSVファイルでのデータ抽出が唯一の方法となることがあります。
企業は膨大なコストがかかるために移行を延期していますか？それともすでに段階的に対応していますか？ - Excelを使い続ける理由: 内部データベースを他のシステムに直接接続した方がシンプルなのに、なぜ一部の企業はデータクリーニングのためにExcelを使い続けているのですか？
↓
2024年には、大企業の間でメソッドB（直接接続）へのシフトが顕著になっています。しかし、特定のシナリオに応じてメソッドC（ハイブリッドアプローチ）も採用されています。中小企業においても、直接接続の利便性と効率性が認識され、その採用が徐々に増加しています。しかし、リソースとコストの制約により、Excelを使用したデータクリーニングやハイブリッドアプローチが依然として一般的です。
使用状況: この方法は、中小企業、レガシーシステム、複雑なデータ構造を含むシナリオで依然として一般的です。Excelはその柔軟性と使いやすさから、データ操作のための多用途ツールとして広く使用されています。
シナリオ:
製品:
具体的なシナリオ:
使用状況: この方法は、大企業や技術に精通した中小企業の間でますます一般的になっています。直接接続を利用することで、データワークフローが効率化され、手動エラーが減少します。
シナリオ:
製品:
具体的なシナリオ:
使用状況: 多くの企業が、レガシーシステムや複雑なシステムにはメソッドAを、その他のシステムにはメソッドBを使用するハイブリッドアプローチを採用しています。この柔軟性により、既存の制約と近代化の努力をバランスさせることができます。
シナリオ:
製品:
具体的なシナリオ:
データ管理ツールの進歩にもかかわらず、Excelは大企業におけるデータクリーニングと操作のために広く使用されています。これは主に以下の理由によります：
ETL/BIツールやクラウドベースのDWHと直接統合できないシステムに対して、データをCSVファイルとしてダウンロードすることは依然として一般的です。企業は高コストと複雑さのために移行を遅らせることが多く、段階的に対処しています。
しかし、直接接続はより効率的で広く採用されており、長期的にはデータ管理におけるExcelへの依存が減少すると予想されます。
クラウドベースのデータ統合ソリューションの台頭により、データ収集、クリーニング、統合がAI/ML技術によって自動化され、手動作業が減少し、データの一貫性と精度が向上しています。AI/MLアルゴリズムは、異常検出、欠損値の補完、パターン認識などのタスクを効率的に処理し、データ品質を向上させます。リアルタイムデータ分析の利点が明らかになるにつれ、直接接続の採用が増加し、より迅速かつ正確なビジネス意思決定が可能になります。
データセキュリティ、コンプライアンス、およびデータガバナンスの重要性が増すにつれ、このトレンドは続くと予想されます。
おどれ、何得意げに語っとんじゃ！
弱小生保で100万件のデータ持っとるとか、多い言うんか少ない言うんか、どっちなんじゃ？
そんなもんちまちま見んでも、パッと見つかるわけないいう話じゃろ。ほいじゃけぇ、結局大したことねぇじゃん。
そんなん、当たり前じゃが。もっと賢くやれや、バカかおどれは。
目立ちたくてしょうがねぇんか。そりゃ見つかるに決まっとるわ。
そんなん、運が良かったんじゃろうが、もっと有意義なこと考えろや。
ほれから、DB見るのにハードル高い言うとるけど、おどれの弱小生保やけぇ緩いんじゃろうが。
SQLの履歴だって、確認せんと自由に見れるってか？そんなん管理が甘いだけじゃけぇ。
最後に一言言わしてもろうちゃるけど、そんな漫才みたいな話してる暇があったら、仕事に集中せえや！
ワイはもう、この話飽きたけぇ、終わりじゃボケ。
しったかが適当こいてもこうはならんだろってくらいはちゃめちゃ
最高
ハッシュ化してるから～とか言ってるけどあれは理想であって現実じゃないんよ
その手の業界で働いたらわかる
そうなってないところなんて山ほどある
特に企業相手だと一般ユーザーとは違うレベルで丁寧なサポートが必要になる
本番でそんなのいらんだろって思うレベルで全部ログを全部出してたりする
通信ログでサーバーとクライアントのやりとりを全部保持してたりするし中にはパスワードとかが入ってることだってある
そもそもハッシュ化せず生で保存していて、画面で今のパスワードが確認できる必要があるシステムだってある
以前見たものではログインできないの調査依頼に「DBにはabcというパスワードが保存されてましたがユーザーはABCというパスワードで試行してました」とかもあった
世の中そんなもんよ
安心せずに変えておいたほうがいい
ニコニコ自体はウェブ系のところである程度しっかりしてるのかなって思うこともあるけど、カドカワ関係してるし
ぎくりとした。私も数ヶ月前から精神科に通院しているからだ。ADHD疑いで。
ADHD。
子供の頃から忘れ物、遅刻、約束忘れ、すごく多かった。成績は良かった。大学も行けた。就活もして都内大手企業に内定。苦手なことは3倍かかったし、ミスも多くて怒られた。みんなが出来ることが出来なかったが、幸いプログラムが組めた。Excel、VBA、SQL、Python…コイツらのおかげで出世はできなかったが、仕事はできた。
子供が産まれると予定が増える。1人目。まだなんとかなった。癇癪がすごい。子供の泣き声がすると2回警察を呼ばれた。殴ってない。むしろ殴られてた。2才だった。
2人目。
もう全然回らなかった。仕事。家事。育児。びっくりするくらい予定を忘れた。保育園の連絡帳。記帳がないからプールに入らなかったと言われた。ごめん。保護者面談2回忘れてた。PTAの仕事。やらなきゃとわかっているのに手が動かない。もう、もう、ダメだった。
でも障害者になるのが嫌だった。
精神科に行った。病院で薬をもらって飲んだら嘘みたいに頭がスッキリした。毎日未完了のタスクがぐるぐるしていた頭が真っ白になって、タスクに取り組めた。
もう。認めるしかなかった。
この子も苦しむのか。知らずに産んでごめん。友達と一緒に遊んで悪気なく手を挙げたりするって。聞いたよ。私も全く同じことを子供時代にしていた。
ごめん。ほんとに。なんで知らなかったんだ。これから先、すごくすごく苦しいだろう。
私は友達と話す時、会社の同僚と話す時、素で話せたことはない。学習して学んだ適切な振る舞いをして過ごしてきた。だからすごく疲れるし1人になりたかった。今もそう。家族にもそう接してる。良い母の顔でずっと探してる。素の自分じゃ誰も好きになってくれない事を知ってるから。お母さん以外素の私を好きになってくれる人はいなかったから。
こんな文書いて何したいのか。
本当にごめん。ごめん。ごめんよ。
ADHDってどこかに居場所があるのか？薬を飲んで健常者のふりをしても、それは私じゃない。ずっと自分を否定ながら、明るいフリをして、元気なふりをしてこれから先生きていく。子供も。
療育を受けましょう。と、先生は言った。療育。健常者の考えそうなことだ。特性を理解して付き合いましょう。もう、いやだいやだいやだいやだ
ぎくりとした。私も数ヶ月前から精神科に通院しているからだ。ADHD疑いで。
ADHD。
子供の頃から忘れ物、遅刻、約束忘れ、すごく多かった。成績は良かった。大学も行けた。就活もして都内大手企業に内定。苦手なことは3倍かかったし、ミスも多くて怒られた。みんなが出来ることが出来なかったが、幸いプログラムが組めた。Excel、VBA、SQL、Python…コイツらのおかげで出世はできなかったが、仕事はできた。
子供が産まれると予定が増える。1人目。まだなんとかなった。癇癪がすごい。子供の泣き声がすると2回警察を呼ばれた。殴ってない。むしろ殴られてた。2才だった。
2人目。
もう全然回らなかった。仕事。家事。育児。びっくりするくらい予定を忘れた。保育園の連絡帳。記帳がないからプールに入らなかったと言われた。ごめん。保護者面談2回忘れてた。PTAの仕事。やらなきゃとわかっているのに手が動かない。もう、もう、ダメだった。
でも障害者になるのが嫌だった。
精神科に行った。病院で薬をもらって飲んだら嘘みたいに頭がスッキリした。毎日未完了のタスクがぐるぐるしていた頭が真っ白になって、タスクに取り組めた。
もう。認めるしかなかった。
この子も苦しむのか。知らずに産んでごめん。友達と一緒に遊んで悪気なく手を挙げたりするって。聞いたよ。私も全く同じことを子供時代にしていた。
ごめん。ほんとに。なんで知らなかったんだ。これから先、すごくすごく苦しいだろう。
私は友達と話す時、会社の同僚と話す時、素で話せたことはない。学習して学んだ適切な振る舞いをして過ごしてきた。だからすごく疲れるし1人になりたかった。今もそう。家族にもそう接してる。良い母の顔でずっと探してる。素の自分じゃ誰も好きになってくれない事を知ってるから。お母さん以外素の私を好きになってくれる人はいなかったから。
こんな文書いて何したいのか。
本当にごめん。ごめん。ごめんよ。
ADHDってどこかに居場所があるのか？薬を飲んで健常者のふりをしても、それは私じゃない。ずっと自分を否定ながら、明るいフリをして、元気なふりをしてこれから先生きていく。子供も。
療育を受けましょう。と、先生は言った。療育。健常者の考えそうなことだ。特性を理解して付き合いましょう。もう、いやだいやだいやだいやだ
正解が「数学的」に決まるところ。たとえば「1■1=2 のときに ■を答えなさい」というときに競プロは■を答えるだろうし、それを早く答えて悦に入るだろう。
それもいいけど、いちど数学的に答えが決まっちゃう問題はライブラリにまとめられて、一般的なコーダはなにも考えなくてもインポートして処理できちゃうわけ。上の例えだとふつーのプログラマなら「枯れたライブラリをインポートして、正しく答えが出ると確信できるなら『答えは正しいとか考えなくても』それを使って対処する」ので、データの振る舞いとか気にしないで済む。たとえば SQL なんて、実行時計画という「アルゴリズムを常に指定するなら不要な」話題があるのだけど、データ量によって適切なアルゴリズムが変化するから仕方ないし、概ね RDB は賢いのでヒューマンが考慮するのは問題がある場合だけなのだ。よって、競技プログラマが生産性を確実に上げるという根拠はない。
もちろん、アルゴリズム知識を身につけるのは大切だし、クヌース先生も書いてたけど分散処理アルゴリズムはフロンテイアだろうよ。というか、暗号分野やセキュリティの領域や、条件が過酷な場合（宇宙線の影響下とか、メモリの少ないエッジコンピューティングとか）だと、アルゴリズムの研究や追求は大切なのは今も同じだ。でも、競技プログラマが新規にアルゴリズムを開発したり、セキュリティに向上したという話は聞いたことがないが、レッドコーダー諸君は自前で創造して使われた実績はあるのだろうか？
ついでに聞いてみたいのだが、競技プログラマたちは「マルチスレッドなコードで早く書こうとしないのはなぜ？」「そもそも、競技プログラミングで使うコードは便利なスニペッツがあるけどそれってチートでは？」「ときどき正規表現で解く問題があるけど、そのときの計算量は無視してない？」という矛盾を抱えているのてはないか？と思うのだが如何か。
究極的には競技プログラミングに必要な知識というのは、産業用途で要求される知識の一部でしかないのが問題なんだと思うよ。ほら、アレだよ、むかし話題になった「数学だけデキる人向けの東工入試をやったら、英語ができなくて卒業できなかった」という童話に近いんだよ。競技プログラムってインとアウトしか見てないブラックボックステストだから、ここだけしか計算機科学の知識が無いというヤバ人材の育成しかなってないのだろうな。
マドンナとか、蒼井そらとか、元AV女優のイタリアの議員とかみたいに、クレイバーでタフだったり、
ガガとかみたいにそもそも実家がゴン太でもないのに、なんとなくで風俗嬢や類すること(水商売等)をしている人は、
明確に知能や判断能力に問題があると思ってるし、セックス産業(物理)は無くなった方がいいと思ってるやで
理由は2つ
金ないからウーバーイーツやると同じくらいの狂気を感じる(車やバイクの運転が何よりも好きでめちゃくちゃ運転も経路選択も上手い人は別)
もしくは半世紀くらい前の世界や法が及ばない後進国からやってきたとか
金が無いからこそ健康優先でデスクワークだろうにな
セクキャバで時給2000ー2500円とかみたけど
都内ならSQL叩ければ普通に出る額だぞ
もちろん、死ぬほど車／バイクが好きだから宅配やるぜと同じく、
死ぬほどセックス全般を愛していてセックススターになりたいっていうなら別だが
おそらくそうではなかろうよ
若い頃に楽して稼いじゃったからだぞ。風俗だけじゃなくて水商売も同じ
水商売の接客が出来るなら、同性の同僚はともかく(フツーにキャスト同士で揉めてるし)
異性の同僚や上司なんて転がし放題よ
転がしまくって初アサインでフルリモートかつ残業ゼロの仕事を勝ち取った人おったよ
やり甲斐やスキルアップやある程度の給与求めるなら、英語が出来るんだし、
◯◯やった方がいいとかXXやった方がいいって言ったけど、
子どもがいるから家にストレス持ち帰りたくないとか言ってやらないよね
苦労する＝スキルアップ出来る ではないので、無駄な苦労はしない方がいいが、
文明人としての建前は守らなきゃいけないのでリンクは貼りませんけど
まぁこれは一例で、親子二代AV女優だったり、風俗嬢だったりなんてのもあります
ウシジマくんにも似たような話あったなぁって思います
もちろん、現実で仕事に思い悩むセックス産業の女性と面と向かったとしても、
必死に自分で生活を立てようとしている彼女たちをがんばったねって肯定し尊重するフリをすると思います
『お前の知能で考えたことはまともじゃないので従いなさい』なんて絶対言いません
我が身がかわいい以前に、頑張って生きている人を面と向かって蹴り飛ばすとか、人生全否定とか、フツーは出来ないです
割とクソどうでもいい記事だった。
日本語と英語で述語・目的語の並び順がちがうけど英語の順番の方が性に合ってるよね、てな具合の話。
じゃあ検索の効率も出来る事も事実上向上する可能性は全く無い。
https://anond.hatelabo.jp/20240507125309
はい。
ではなく、SQLは処理じゃなく、定義であることを理解するのが大切。
何の定義かと言えば、リレーショナルデータモデルへの演算定義なんだよ。この演算には、関係代数という演算を使う。
なぜ定義だと認識する必要があるかという、Selectは出力でも何でもなく、射影という演算の一部なんだよ。
"+3" とかと一緒
で、関係代数演算は順位にもちろん意味がある。最初に"射影"して"選択"かけたら全く別になる。
SQLは、この演算順位を、SelectやWhereの中で状況によって意味が変わる。という出鱈目なカバーで逃げた。Order byで悩んだろ。
さらに言えば、苦肉の策でWhereのパチモンはどうしても2回必要でHavingを作ったのよ
本来で言えば、この演算は、選択-結合-射影-結合といくらでも出来る。
「足し算は頭に一回書いてください。複数使う時はかっこつけて下さい。ちなみに、掛算を一緒に使うと足し算の意味が変わり場合によってはエラーです」みたいな安直な構造定義しちゃってるの。
リレーショナルモデルへの演算としてだダサダサで、リレーショナルモデルの演算の複雑さではなくSQLという表現の都合で人類の頭に負荷かけ続けてる。
出力が頭にあるのは便利(間違い)。英語だから(間違い)。って言われると何言ってるんだーって、ちょい昔のまともなデータベースエンジニアなら普通にキレてた案件
